Local geometrised Rankin-Selberg method for GL(n) and its application

We propose a geometric interpretation of the classical Rankin-Selberg method for GL(n) in the framework of the geometric Langlands program. Our main result is local, its classical counterpart is the RankinSelberg computation of convolution of two Hecke eigenforms with an Eisenstein series. For n = 2 we apply it to prove a global result that gives a geometric version of the computation of the scalar product of two normalized cusp Hecke eigenforms as a residue of the Rankin-Selberg convolution. Méthode de Rankin-Selberg locale géométrisée pour GL(n) et son application Résumé. Nous suggérons une interprétation géométrique de la méthode classique de Rankin-Selberg pour GL(n) dans le cadre du programme de Langlands géométrique. Notre résultat principal est local, son analogue classique est le calcul due à Rankin-Selberg de la convolution de deux formes automorphes, qui sont vecteurs propres des opérateurs de Hecke, avec une série d’Eisenstein. Pour n = 2 on en déduit un résultat global qui fournit une version géométrique du calcul du produit scalaire de deux formes automorphes cuspidales comme un résidue de la convolution de Rankin-Selberg. 1. Local result for GL(n) Fix an algebraically closed ground field k of characteristic p > 0, a prime l 6= p, an algebraic closure Q̄l of Ql, a finite subfield Fq ⊂ k, and a square root of q in Q̄l. Let X be a smooth complete connected curve of genus g ≥ 1 over k. Fix n > 0, d ≥ 0. Denote by Qd the stack that classifies the collections (0 = L0 ⊂ L1 ⊂ . . . ⊂ Ln ⊂ L, (si)), (1) where Ln ⊂ L is a modification of rank n vector bundles on X with deg(L/Ln) = d, (Li) is a complete flag of subbundles on Ln, and si : Ω →̃Li/Li−1 is an isomorphism ((i = 1, . . . , n),Ω is the canonical invertible sheaf on X). We have a map μ : Qd → A 1 k which at the level of k-points sends the above collection to the sum of n− 1 classes in k→̃Ext(Ω,Ω)→̃Ext(Li+1/Li, Li/Li−1)